Long-History User Transformers for Real-Time Ad Ranking
用于实时广告排序的长历史用户Transformer
🧭 序列推荐 · 离线-在线分离架构 ★ 深度解读
Yandex · Applied AI Institute
异步离线编码全量历史+轻量在线编码近期事件，在实时广告排序中恢复72–80%全历史模型质量，生产指标提升超2%
📌 工作参考价值（5 点）
- 离线-在线分裂架构可迁移：对于用户长行为序列建模的延迟瓶颈，可借鉴“离线大模型编码全量历史生成固定向量并缓存，在线轻量模型仅处理最近事件”的模式，适用于电商搜索/推荐/广告的精排或重排阶段。
- 训练时模拟特征滞后：在训练中人为引入两天的数据截止，使模型适应生产环境中用户Embedding的更新延迟，能防止在线效果退化；电商特征存储同样存在更新延迟，可直接复用这一策略。
- 接收域设计与延迟权衡：在线编码器使用窗口注意力，总接收域 = 层数 × 窗口大小，通过调节层数和窗口宽能在质量和延迟之间做显式权衡；电商场景可按延迟预算配置在线序列长度。
- 多表面预训练 + 单表面微调：利用跨场景（搜索、推荐、广告）交互日志做自回归预训练（CTR预测+下一事件检索），再针对目标场景微调，能显著提升目标场景效果；电商多业务线（如首页推荐、搜索、促销页）可复用该迁移学习范式。
- 位置去偏技巧：训练时输入真实历史位置，推理时固定位置为1来预测位置无关CTR，可减少位置偏差，提升排序校准度；电商排序模型同样受位置偏差影响，可直接采用。